#data curation

4 篇

OmniEdu: Open Foundation Models for Learning and Teaching

OmniEdu：面向学习与教学的开放基础模型

🧭 教育 LLM 能力导向指令微调

Peking University · University of the Chinese Academy of Sciences · Zhongguancun Academy

以能力平衡的指令微调语料构建教育基础模型，在K-12解题、课程定位与教学辅导上全面提升

📌 工作参考价值（4 点）

能力导向的数据组织可迁移到电商/推荐 LLM：按“商品理解/意图预测/解释生成/干预策略”等能力划分 instruction 数据，而不是按任务来源混合；用 token 预算做多样性采样，防止长尾能力被高频任务淹没。
多阶段数据质控流水线值得复用：确定性规则清洗 + 语义审计重写 + 任务特定质量评分，能显著降低垂直领域微调数据噪声；在电商搜索/推荐场景，可先用 LLM 对候选样本做语义评分，再按预算筛选。
领域数据与通用 instruction 混合（100+ 教育资源 + 通用指令）保持通用能力，避免灾难性遗忘；电商垂直 LLM 微调时可参考类似配比，保留通用对话与推理能力。
分尺度验证（4B/9B/27B）说明数据策略在不同模型规模上稳定有效，业务选型时可先用小模型快速验证数据配方，再扩展到更大模型。

Training | 2026-09-18 | HF Daily | score 6/10

DataComp-VLM：改进视觉语言模型的开放数据集基准

🧭 多模态数据筛选与混合策略基准

数据混合而非过滤是提升VLM训练质量的关键，指令丰富混合可扩展性更优

📌 工作参考价值（4 点）

数据混合优于过滤：在构建电商多模态模型（如商品图文理解）时，应优先投入人力设计数据配比（例如指令数据 vs. 简单图文对），而非单纯用质量过滤丢弃数据。
增加指令微调数据占比：对于需要遵循指令的产品（如商品描述生成、多模态对话搜索），在预算内大幅提升指令格式样本的比例，能带来更好的下游任务扩展性，且收益随模型规模扩大而放大。
复用 DCVLM 基准框架：可将内部多源数据（用户评价图、商品主图、商品标题、问答对）组织成类似四类数据类型（图像-文本对、交错文档、纯文本、指令数据），利用其可插拔过滤/混合/采样接口做快速消融实验，找到最优数据配方。
小预算探索大模型效果：DCVLM 的低 token 预算轨道（如 6.25B）可用来预估不同数据策略在更大规模下的表现，适合资源有限的业务团队在迭代中提前淘汰劣化配方。

Multimodal | 2026-06-25 | HF Daily | score 6/10

Autodata：代理式数据科学家自动生成高质量合成数据

🧭 代理式数据合成 · 迭代自我改进

FAIR at Meta

提出代理式数据科学家框架，通过迭代生成、评估与元优化，将推理算力转化为高质量模型训练数据

📌 工作参考价值（4 点）

搭建推荐数据飞轮：借鉴Autodata的循环流程（生成→定性检验→定量评估→优化配方），构建自动化合成数据管线，尤其在长尾商品/查询等欠缺真实样本的场景，持续产出难例。
用下游指标反馈优化生成策略：把离线模型性能（如AUC）或线上AB指标作为reward，元优化数据生成agent的prompt或采样策略，让生成的数据更贴合业务模型需求，类似自动超参调优。
在搜索推荐中迁移Agentic Self-Instruct：将任务定义为“生成搜索词-商品对”或“对话推荐场景”，通过self-instruct + 反思迭代，自动扩写训练集，尤其适合冷启动和少样本领域。
工程落地上注意成本控制：论文通过增加推理计算换取数据质量，实际部署时可对复杂任务才启用agent迭代，简单任务用固定模板，避免线上生成延迟过高；合理设置评估检查点与早停机制。

Training | 2026-06-23 | HF Daily | score 7/10

VideoKR：面向知识密集与推理密集型视频理解

🧭 多模态视频理解 · 知识密集推理

Zhejiang University · Tongji University · University of Chinese Academy of Sciences · Yale University

提出首个大规模知识密集视频推理训练语料 VideoKR，并证明数据设计是提升视频推理性能的关键

📌 工作参考价值（4 点）

数据设计驱动能力突破：VideoKR 证明，针对特定能力（如知识密集推理）构建高质量、多难度的训练数据，比简单扩大通用数据更有效。在电商推荐中，可针对性构建商品知识推理、用户意图深层理解等微调数据，提升模型复杂决策能力。
人类参与、技能导向的生成流水线：通过人工设计技能树、难易分级、思维链验证，确保数据可靠且覆盖渐进式推理能力。可借鉴其流程，为 Agent 规划、多轮对话等场景合成高质量 SFT 数据，减少幻觉并增强逻辑性。
SFT→GRPO 训练范式：先监督微调再强化学习的二阶段训练，有效增强模型长期推理和自省能力。对于多智体协作、生成式推荐等任务，可用 RL 进一步对齐人类偏好或业务目标，提升策略质量。
避免评估捷径：VideoKR-Eval 的设计刻意防止模型利用文本线索或表面统计假依赖，这提示我们在评估推荐解释、对话系统时应设计对抗性评估，确保模型真正理解了语义和上下文，而非文本匹配。

Multimodal | 2026-06-02 | HF Daily | score 7/10